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摘 要 : 新 疆 天 文 台 望 远 镜 所 产生 的 观测 数据 通过 数据 专线 传输 到 台 本 部 数据 中 心 进行 长 期 
存储 。 采 用 rsync 进 行 数据 传输 ， 过 程 中 没有 详细 的 日 志 记 录 信 息 ，, 无 法 对 传输 情况 进行 统计 分 
析 。 本 文通 过 调研 新 疆 天 文 台数 据 传输 需求 ， 设 计 并 开发 了 新 疆 天 文 台 观 测 数据 传输 日 志 系 统 。 
系统 以 新 绪 天 文 台南 山 站 、 奇 台 站 的 数据 存储 服务 器 和 人 台 本 部 长 期 存储 为 基础 ， 设 计 了 上 日志 系 
统 的 整体 架构 ， 实 现 了 数据 传输 过 程 的 日 志 记 录 。 系 统 基于 she11 多 线程 技术 、qt 框 架 开 发 了 后 
台 服 务 程序 及 日 志 系 统 软件 界面 ， 实 现 了 上 日志 分 析 、 统 计 备 份 与 数据 传输 可 视 化 页 面 。 
关键 词 : 日 志 ; 数据 传输 ; 数据 库 ; 可 视 化 
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0 引言 


由 于 天 文 观 测 的 特殊 性 ， 望 远 镜 观测 台 站 与 天 文 数据 存储 中 心 往往 相距 遥远 ， 观 测 产生 的 
科学 数据 需要 通过 专线 传输 到 数据 中 心 永久 存储 ， 传 输 的 数据 专线 长 期 暴露 在 外 会 产生 多 种 问 
题 ， 导 致 数据 传输 中 断 。 数 据 传输 过 程 中 需要 控制 系统 与 详细 的 日 志 系 统 以 便 及 时 发 现 问题 
并 在 故障 修 复 后 重新 传输 数据 ， 若 有 直观 的 展示 和 可 视 化 管理 界面 ， 将 极 大 方便 数据 管理 员 进 

行 数据 统计 与 分 析 。 数 据 传输 过 程 中 的 日 志 记 录 和 之 后 对 日 志 的 分 析 查 询 是 天 文 数据 传输 系统 
a 也 是 本 文 的 主要 内 容 。 本 文 将 以 新 疆 天 文 台 观测 数据 在 传输 过 程 中 实际 遇 到 
的 问题 为 基础 ， 设 计 并 开发 了 一 套数 据 传输 日 志 系 统 ， 实 现 数据 查询 、 统 计 、 分 析 等 功能 

Wicenec 中等 人 研发 了 NGAS2 (Next Generation Archive System) ， 其 主要 目标 是 处 理 来 
自 望远镜 的 大 数据 流 , 该 系统 很 好 的 满足 了 观测 设备 所 输出 的 不 断 增长 的 数据 传输 与 管理 需要 
NGAS 提 供用 户 基于 URL 命 令 的 接口 ， 支 持 包括 归档 、 检 索 、 在 内 的 几 十 个 命令 。 目 前 ，NGAS 已 经 
应 用 在 多 个 数据 中 心 的 数据 传输 中 ，ALMA、MWA、FAST 产 生 的 数据 已 经 在 使 用 NGAS 进 行 传输 ， 目 
前 上 海天 文 台 As 
rsync 是 一 款 数 据 镜 像 备 份 工具 ， 可 实现 本 地 主机 与 远程 主机 上 的 文件 同步 ， rsync 仅 传 
送 本 地 与 远程 两 个 位 置 的 数据 差异 部 分 ， 数 据 传输 效率 较 高 ”。rsync 执行 日 志 默 认输 出 到 
syslog， 支 持 指 定 同步 日 志文 件 位 置 和 定制 日 志文 件 的 具体 字段 。rsync 存在 记录 日 志 信息 单 
一 问题 ， 无 法 满足 海量 天 文 数据 传输 中 状态 判断 和 问题 发 现 ， 真 实 的 天 文 数据 传输 过 程 需 要 更 
为 详尽 的 日 志 内 容 。 
日 志 可 审计 跟踪 发 生 在 对 象 上 的 活动 ， 日 志 在 软 件 系 统 中 起 辅助 作用 ， 在 满足 需求 的 情况 
下 应 尽量 简单 高 效 。 已 经 存在 的 成 熟 优 秀 的 日 志 系 统 ， 如 Glog 等 ， 由 于 框架 庞大 导致 其 开销 

1。NGAS 与 rsync 都 不 支持 日 志 多 目的 地 输出 ，rsync 也 不 提供 日 志 轮转 功能 。 日 志文 件 
轮转 配置 、 多 目的 输出 、 存 储 数据 按 天 或 按 文件 夹 的 统计 结果 写 入 日 志文 件 与 数据 库 表 中 等 需 
求 都 是 已 有 日 志 系 统 无 法 满足 的 。 
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1 天 文 数据 传输 日 志 系 统 设计 


ChinaXiv 合 作 期 刊 


新 疆 天 文 台 在 南山 建 有 26m 射 电 望 远 镜 ， 天 文 台 本 部 位 于 南山 观测 站 以 北约 100KM。 望 远 镜 


观测 得 到 的 原始 数据 经 专线 传输 到 台 本 部 进行 异地 备份 ”"， 本 日 志 系 统 以 rsync 软 件 工具 为 基础 
实现 。 
1.1 日 志 系 统 整 体 架 构 


有 
收集 器 ia 存储 服务 
= 一 


存储 服务 进程 接收 到 收集 器 的 输出 信息 后 存储 为 数据 库 表 内 容 同时 存 入 日 


日 志 检索 几 个 部 分 。 通 过 日 志 收 集 器 进行 日 志 


jj 后 台 服 务 程 序 〈 服 务 的 启动 、 


加 配置 文件 
| 娄 
图 1 日 志 系统 结构 图 
Fig.1 Log System structure 
如 图 1 所 示 , 日 志 系 统 包括 日 志 收 集 、 存 储 、 
的 收集 ， 收 集 器 对 本 机 上 观测 数据 存储 目录 定时 扫描 并 进行 处 理 ， 并 根据 配置 文件 中 的 数值 选 
择 扫 描 的 间隔 时 间 。 
志文 件 。 日 志 检 索 系统 根据 管理 员 检索 条 件 显示 日 志 信 息 ， 控 种 
关闭 、 重 启 等 ) ， 修 改 配置 文件 。 
1.2 关键 点 
图 2 为 日 志 系统 后 台 程 序 实现 细节 图 。 


监控 脚本 : 执行 监控 任务 的 脚本 ， 共 有 两 个 监控 脚本 ， 彼 此 监控 。 


控制 脚本 : 根据 配置 文件 
监控 对 象 : 检查 更 新 和 
比 来 确定 是 否 


人 文件 信息 


恩 脚 本 负责 


统计 存储 根 目录 与 其 下 的 各 个 文件 


内 容 ， 控 制 各 个 脚本 的 输入 参数 ， 如 脚本 内 容 的 循环 间隔 等 。 
I 数据 写 入 两 部 分 组 成 。 检 查 更 新 脚本 通过 检测 发 送 接收 两 端 数据 对 
需要 同步 数据 备份 ， 该 脚本 只 存在 接收 端 日 志 系 统 中 。 数 据 写 入 由 文件 信息 数据 


\ 写 入 脚本 记录 最 新 一 次 存储 目录 扫描 后 新 增 的 文件 信息 ， 统 计 


夹 以 及 每 日 增 量 信息 。 


发 
人 虐 


世 | 监控 脚本 1 上 互相 监控 一 监控 
局 


|| 


控制 


图 2 实现 细节 
Fig.2 Implementation details 


监控 


1.2.1 互相 监控 体系 

shell 脚 本 在 1inux 系 统 运行 中 可 能 会 非 正常 退出 或 异常 结束 ， 日 志 系 统 必须 时 时 监测 保证 
整套 系统 正常 运行 。 监 控 脚本 1、 监 控 脚 本 2、 监 控 对 象 组 成 了 一 个 牢固 的 互相 监控 体系 。 监 控 
脚本 1 与 监控 脚本 2 彼此 互相 监控 ， 监 控 对 象 同时 被 两 个 监控 脚本 监控 。 监 控 脚本 主要 任务 是 检 
查 脚本 进程 的 运行 状态 ， 脚 本 一 旦 不 在 进程 列表 中 会 被 立刻 唤醒 。 这 样 的 监控 体系 可 以 保证 监 
控 对 象 一 直 处 在 运行 状态 ， 保 证 日 志 系 统 在 无 人 值守 的 情况 下 能 够 长 时 间 稳 定 运行 。 


1.2.2 linux 实现 

控制 脚本 需要 同时 运行 多 个 脚本 ， 就 需要 启动 多 个 后 台 进程 系统 采用 在 执行 脚本 命令 后 
加 & 操 作 符 来 实现 多 线程 ， 即 : 

./script name.sh & 

加 & 操 作 符 会 对 SIGINT 信 号 免疫 ， 表 示 该 条 命令 将 在 子 shell 中 执行 ， 但 该 条 命令 所 在 终端 
被 关闭 ,进程 也 会 被 关闭 。 实现 真正 后 台 执 行 应 在 语句 前 面 加 上 nohup， 对 SIGHUP 信 号 免疫 , 即 : 

nohup ./script name.sh & 

监控 对 象 包含 多 个 脚本 ,通过 shel1 的 多 线程 技术 实现 一 个 控制 脚本 启动 多 个 脚本 。 监控 对 
象 内 脚本 知 停 止 运行 将 被 控制 脚本 唤醒 。 


2 系统 实现 


2.1 开发 语言 简介 
新 疆 天 文 台数 据 传 输 日 志 系 统 的 后 台 程 序 由 shel1 脚 本 组 成 , 日 志 检 索 系 统 由 Qt 语言 在 集成 
环境 Qt Creator 内 完成 。 

Shell 是 用 户 使 用 Linux 系 统 的 桥梁 , 接收 用 户 键入 的 命令 并 送 入 内 核 去 执行 。shell 脚 本 就 
是 用 shell 命 令 组 成 的 程序 ，shell 作 为 一 种 编程 语言 ， 也 有 分 支 控 制 结构 和 循环 结构 等 普通 编 
程 语言 所 具有 的 特点 ， 在 Linux 上 统计 信息 使 用 命令 组 合 可 以 方便 得 到 统计 结果 。 

Qt 是 一 个 跨 平台 C++ 图 形 用 户 界 面 应 用 程序 开发 框架 ，Qt 语 言 模块 化 程度 高 且 可 重用 性 较 
好 ，Qt 简 化 了 开发 和 维护 图 形 用 户 应 用 程序 的 任务 ”， 内 部 的 组 件 通过 Qt 特有 的 信号 模 机 玮 
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2.2 日 志文 件 结构 

数据 传输 日 志 系统 的 日 志 包 括 两 部 分 ， 一 部 分 是 记录 数据 存储 在 本 地 机 器 上 的 处 理 后 的 统 
计 日 志 ， 称 为 普通 日 志 ， 这 种 日 志 以 文件 形式 存储 在 以 日 期 命名 的 1og 文 件 中 ， 有 数据 存 入 就 会 
产生 新 日 志文 件 ， 另 一 部 分 则 是 使 用 日 志 检索 系统 产生 的 如 登录 、 退 出 系统 记录 ， 界 面 操作 的 
相关 日 志 ， 记 录用 户 行 为 轨迹 ， 称 为 系统 日 志 ， 这 类 日 志 的 命名 规则 由 配置 文件 决定 ， 配 置 文 


件 中 日 志文 件 轮转 提供 大 小 和 时 间 两 个 选项 。 另 外 普通 日 志 中 的 某 些 信息 需要 写 入 数据 库 表 中 。 


(1) 普通 日 志 
普通 日 志 写 入 文本 文件 ， 同 时 也 会 将 某 些 字段 写 入 数据 库 表 中 ， 其 输出 格式 如 下 : 


[<Timestamp>] [<log type>] <folder path> <file number> <data volume> <last modify time> 


-e.g.: 
ed 19:28:22][INFO] /data/2014/201401 187 1493.34 2018-04-13 13:30:25 
字段 意义 对 应 如 下 : 

《timestamp> 表 示 日 志 记 录 日 期 和 时 间 , 《log type> 代 表 日 志 等 级 , 可 取 
“INF0”， ”WARNING”, ”ERROR”, ”NOTICE”, 《folder path》 表 示 数 据 存 储 路 径 下 的 各 文件 夹 绝 
对 路 径 ,，《file number> 表 示 该 文件 夹 下 文件 个 数 ,《data volume》 表 示 该 文件 夹 下 文件 总 量 ( 单 
位 为 MB) ，<last modify time> 表 示 该 文件 夹 最 后 修改 时 间 。 


(2) 系统 日 志 

系统 日 志 以 文本 形式 写 入 文件 ， 其 输出 格式 如 下 : 
<type>|<timestamp>|<user>|<operation>|<source file>|<log type>=<log message>,<status> 
BP:: 
i 18:23:21|samllogonllogindialog.cpp|INFO=log into system,SUCCEED 
字段 含义 如 下 : 

《type> 表 示 日 志 类 型 ， 登 陆 日 志 或 者 是 操作 日 志 ,《timestamp> 表 示 日 志 记录 时 间 ，《user> 
表示 管理 员 姓 名 , 《operation> 表 示 操 作 , 《source file> 表 示 源 文件 , 《log type> 表 示 日 志 等 
级 , 《log message> 表 示 日 志 说 明 字符 串 ， 《status> 表 示 操 作 状 态 


2. 3 数据 库 表 

1) 文件 表 〈files): 记录 每 个 文件 的 文件 名 、 文 件 大 小 、 文 件 存储 时 间 、 文 件 最 后 修改 时 间 、 
文件 的 mq5 值 

2) 天 文 数 据 表 (data): 记录 设备 上 天 文 数据 的 存储 信息 ， 包 括 数据 总 量 (单位 MB)、 存 储 路 径 
内 数据 总 个 数 、 存 储 时 间 与 最 后 修改 时 间 。( 用 户 可 以 设置 记录 数据 的 间隔 时 间 ， 如 2 分 钟 ) 

3) 文件 夹 表 (folder): 记录 存储 路 径 根 目录 下 的 各 文件 夹 的 数据 信息 ,包括 自 增 字段 、 文 件 夹 
遍历 次 数 、 文 件 夹 名 称 、 该 文件 夹 下 存储 的 总 数据 量 、 该 文件 夹 包括 的 数据 文件 总 个 数 、 
文件 夹 记录 时 间 、 文 件 夹 最 后 修改 时 间 、 根 目录 下 文件 夹 总 个 数 

4) 每 日 数据 增 量 表 (dayData): 记录 每 日 天 文 数据 存储 路 径 下 数据 的 变化 信息 , 包括 自 增 字段 、 
当日 日 期 、 当 日 增加 的 数据 总 量 、 当 日 增加 的 文件 总 个 数 、 备 用 字段 

5) 每 日 文件 夹 数 据 增 量 表 (dayFolderData): 记录 天 文 数据 存储 路 径 根 目录 下 各 文件 夹 每 天 数 
据 变 化 信息 ， 包 括 自 增 编号 字段 、 当 日 日 期 、 文 件 夹 名 称 、 该 文件 夹 存储 数据 总 量 、 该 文 
件 夹 下 存储 文件 总 个 数 、 该 文件 夹 当日 增加 的 数据 总 量 、 该 文件 夹 下 当日 增加 的 文件 总 个 
数 、 根 目录 下 文件 夹 总 个 数 

6) 脚本 程序 监控 表 (proc_status ):; 记录 后 台 脚 本 程序 的 运行 状态 ， 四 个 脚本 分 别 为 写 数据 脚 
本 、 控 制 脚本 、 每 日 数据 统计 脚本 、rsync 数据 传输 脚本 ， 更 新 时 间 。 


表 1 数据 库 表 结构 


Tab. 1 database table structure 


表 名 字段 名 字段 类 型 字段 描述 
File name char 文件 名 
File_size int 文件 大 小 
files storeDBtime timestamp 文件 存储 时 间 
File_time last timestamp 文件 最 后 修改 时 间 
Md5value char 文件 md5 校 验 值 
data no int 增 字段 
data_volume double 存储 数据 总 量 
data_number int 仓储 文件 总 个 数 
data time timestamp 写 入 数据 库 时 间 
data_time last timestamp 最 后 修改 时 间 
data add char 备用 字段 
auto_no int 曾 字段 
folder no int 文件 夹 编号 
foldet_cycle_no int 文件 夹 被 访问 次 数 
folder folder name Char 文件 夹 名 
folder_ volume Double 文件 夹 数据 量 
folder_ number Int 文件 夹 下 文件 总 个 数 
folder time Timestamp 写 入 数据 库 时 间 
folder time last timestamp 文件 夹 最 后 修改 时 间 
folder add char 备用 字段 
auto_no int 自 增 字 段 
dayDate date 当 拥 
data_volume double 历史 数据 总 量 
dayData data_ number int 历史 文件 总 个 数 
incre_volume double 当日 数据 增加 量 
incre_number int 当日 文件 个 数 增加 量 
dayData add char 备用 字段 
auto_no int 自 增 字 段 
dayDate date 当 肖 
folder_ name char 文件 夹 名 
folder_ volume double 文件 夹 下 数据 总 量 
dayFolderData folder number int 文件 夹 下 文件 个 数 
incre_volume double 文件 夹 下 当日 数据 增加 量 
incre number int 文件 夹 下 当日 文件 个 数 增加 量 
dayFolderData add char 备用 字段 
auto_no int 兽 字段 
writeData tinyint 郑 本 writeData 
proc_status control tinyint 基本 control 
oneDayStat tinyint 郑 本 oneDayStat 
rsync tinyint 却 本 rsync 
update_ time timestamp 更 新 日 期 
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3 日 志 检 索 系 统 实现 


3. 1 功能 结构 


文本 文件 


如 图 3 所 示 ， 日 
备份 、 参 数 管理 控制 。 


3.2 各 功能 子 模块 描述 


日 志 检索 系统 主要 为 系统 管理 员 所 服务 ， 
询 和 操作 日 志 ， 为 了 便于 控 人 
停止 或 重启 ， 更 改 配 置 文 伯 


-、 上 国 


ChinaXiv 合 作 期 刊 


通过 一 个 友好 的 操作 界面 让 使 用 者 更 加 方便 的 查 
判 整套 天 文 数据 传输 日 志 系统 ， 通 过 界面 控制 后 台 运 行程 序 开启 、 
参数 达到 控制 日 志 输 出 行为 的 目的 。 


3 日 志 检 索 系 统 结构 


Fig.3 structure of log retrieval System 


志 检 索 系 统 有 四 部 分 功能 组 成 ， 分 别 为 普通 日 


志 检 索 、 分 类 日 志 查 询 、 日 志 


如 图 4 所 示 ， 用户 成 功 登录 后 页 面 显 示 发 送 端 和 接收 端 存 储 数据 情况 , 包括 两 端的 系统 状态 
和 各 自 存储 的 总 文件 量 、 总 文件 数 。 系 统 状态 列 出 磁盘 设备 已 占用 空间 大 小 、 占 用 比例 、 可 用 


空间 等 信息 。 


Astronomy Data Transmission Log System 


File(F) Help BackService 


Q Log Retrieval 


System Log 


Be Configure 


Cy Backup 


welcome zhuyan 


3. 2. 1 普 ; 


[Ef 
如 


[v) sending server 口 accepting server 


System status 


Device Total Used Available 


立 Sending server 
/dev/mapper/vg_qttas2-lv_root 28G 7.3G 20G 


/dev/sdal 2.0T 633G 1.3T 
Accepting server 

/dev/mapper 28G 7.5G 19G 

/dev/sdal 477M 43M 409M 


Used Percent 


28% 
34% 


29% 
10% 


Sending server Info(QiTai Site) 


Total data stored : 647279MB 


Total number of files stored : 124353 


Accepting server Info(XAO headquarters) 


Total data stored: 647279MB 


Total number of files stored : 124353 


图 4 发 送 端 与 接收 端 数据 存储 情况 一 览 


[A 


Fig.4 Summary of data storage at the sender and receiver 


志 检 索 (Log Retrievel) 
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File(F) Help BackService 


Astronomy Data Transmission Log System 


如 图 5 所 示 ， 普通 日 志 检 


键 字 是 文人 


Q Log Retrieval OO sending server © accepting server [=) zhuyan 
| System Log 

Condition 
Be Configure ~ 去 

2018-08-01| ~ | [00:00:00 [S| -- [2018-08-05| ~ | [oo:oo:oo | keyword: | || search 
和 和 Backup 

file_name file_size generate_time | 

i 130119 204249_ON |5558400 3 Aug 2018 14:03:51 | 

"3} 130119_195522_OF 3558400 3 Aug 2018 14:03:33 

3 130119_111326_OF 3558400 3 Aug 2018 14:03:37 

4 130119 094320_OF 3558400 3 Aug 2018 14:03:47 

130119 215747_ON 3558400 3 Aug 2018 14:03:52 

6 130119_134029_ON 2375680 3 Aug 2018 14:03:43 

7 130119_172916_OF 3558400 3 Aug 2018 14:03:44 

8 130119_174013_ON 3558400 3 Aug 2018 14:03:56 

9 130119_100549_OF 3558400 3 Aug 2018 14:03:53 

10 130119_203910_OF 3558400 3 Aug 2018 14:03:47 

11 130119_120634_ON 3558400 3 Aug 2018 14:03:43 

远 | 130119_150252_OF 3558400 3 Aug 2018 14:03:57 

33 130119_163040_OF 3558400 3 Aug 2018 14:03:44 

14 130119_142955_ON 3558400 3 Aug 2018 14:03:39 re 
welcome zhuyan 

图 5 普通 日 志文 件 检索 


Fig.5 ordinary Log file retrieval 


伟 索 界面 展示 详细 的 文件 记录 ， 包 括 文件 名 、 文 件 大 小 、 
间 。 支 持 检 索 某 一 段 存储 时 间 内 的 记录 ， 时 间 可 精 
F 名 或 者 文件 名 的 一 部 分 ， 


上 到 茶 


天 的 茶 一 秒 ， 


文件 生成 时 


支持 关键 字 检 索 。 关 


顶部 可 选择 sender 或 者 receiver 按 钮 检索 发 送 端 或 接收 端 


的 数据 。 底 部 的 packup 按 钮 支持 备份 当前 检索 的 数据 到 本 地 默认 目录 , 备份 目录 在 Configure 页 


中 修改 。 


3. 2. 2 分 类 日 志 查 询 (System Log) 


此 界面 分 类 显示 系统 日 志 
言 息 。 系 统 日 志 可 查看 系统 登 


图 6 展示 了 系统 日 志 概览 ， 
个 用 户 登 入 或 登 出 系统 的 时 间 ， 


系 统 日 志 是 指 用 / 1 使 用 日 志 检 


昌吉 二 与 系统 操作 日 志 两 类 。 


仿 索 系统 所 产生 的 一 


系列 日 志 


Q Log Retrieval 人 zhuyan 
| System Log 
system log | overview 2 
Configure 
Backup CATEGORY YY _ NUMBER. 
二 SYSTEM_LOGIN 1110 
SYSTEM_OPERATE 185 
6 日 志 概览 
Fig.6 log overview 

Q Log Retrieval [=) zhuyan 
System Log RR 

login log number:1110 eginlensle! log & | 


次 Configure 六 
A [TE 
二 Backup 


Y STATUS Action 


| 2018-06-20 13:44:34.483 SUCCEED logon 


Q Log Retrieval 
大 System Log 


。 Configure 
C J ) Backup 


INFO 


Description 
log into system 


图 7 不 同类 型 


志 查 询 (登录 


志 ) 


Fig.7 different types of log queries (logging log) 


operate log number:185 


LEVEL YY TIME STATUS 


2018-07-10 13:08:19.758 SUCCEED 


Operation 


E 


日 zhuyan 


| operation log 2 | 


Description 


categoryChoose selected item Systeny Log 


图 8 不 同类 型 


志 查 询 (操作 


Fig.8 different types of log queries (operation log) 


如 图 7 所 示 ， 系 统 登录 日 志 记 录 每 
登 出 ) 以 及 相关 描述 。 如 图 8 所 示 ， 系 


包括 日 志 4 


登录 状态 ,动作 〈 登 


| 


刊 
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统 的 操作 日 志 详细 记录 了 用 户 使 用 本 系统 的 行为 轨迹 , 给 出 了 用 户 操 作 的 时 间 , 操作 的 内 容 (如 
查询 操作 、 备 份 操作 等 ) ， 操 作 的 状态 〈 成 功 或 失败 ) ， 操 作 的 详细 描述 。 


3. 2. 3 参数 管理 控制 (Configure) 
此 界面 可 以 控制 后 台 服 务 的 启动 ， 关 闭 ， 重 启 ， 对 参数 进行 设置 。 


Astronomy Data Transmission Log System 


File(F) Help BackService 


Q Log Retrieval OO sending server 所 accepting server @ zhuyan 
下 System Log 
Type Location star- 
Configure 人 
YY Automatic detection | | 
CDP Backup OrdinaryLogBackupDir /home/zhuyan/needmodify16/Logs/ He 
SystemLogBackupDir /home/zhuyan/needmodify16/SystemLogs/ | stop | 
SystemlogMaxSize 10 py 
OrdinaryLoginterval 2 
Monitorinterval 5 
KN 
站 set single log size [0 | (Maximum value of single system log,default: 5MB). 
MM set write logs interval |5 | (The interval for writing logs and database,default:2 minutes) 
回 set monitor interval |z | (The interval for monitoring programs,default:5 minutes). BB Apply | 


9 系统 配置 


Fig.9 system configuration 


图 9 系统 配置 界面 ， 自 动 显 示 已 有 的 参数 及 参数 内 容 : 

OrdinaryLogBackupDir: 普通 日 志 远 程 备份 到 本 地 的 默认 路 径 

SystemLogBackupDir: 系统 日 志 备 份 默 认 路 径 

OrdinaryLogMaxSize: 普通 日 志 单 个 文件 最 大 值 ， 默 认 值 为 5MB， 若 单个 日 志文 件 超过 设 定 
的 最 大 值 则 将 日 志 写 入 另 一 新 文件 中 。 

OrdinaryLogInterval: 写 入 日 志文 件 的 间隔 时 间 , 也 就 是 后 台 程 序 扫描 根 目 录 的 间隔 时 间 ， 
默认 间隔 2 分 钟 。 

MonitorInterval: 后 台 程 序 监控 的 时 间 间 隔 ， 即 检测 后 台 各 shel1 程 序 的 运行 状态 的 间隔 
时 间 ， 默 认 间 隔 5 分 钟 。 

界面 中 的 三 个 checkbox 的 设置 分 别 对 应 0rdinaryLogMaxSize、0rdinaryLogInterval、 
MonitorInterval， 更 改 设置 后 需 点 击 restart (重启 ) 按钮 重启 后 台 服 务 程序 。Start 与 stop 
按钮 表示 后 台 服 务 的 开启 和 停止 。 


3. 2. 4 日 志 备 份 〈Backup ) 
此 界面 分 为 普通 日 志 备份 和 系统 日 志 备份 两 种 ， 普 通 日 志 备 份 支持 数据 发 送 服务 器 或 接受 
服务 器 上 的 日 志 备份 ， 系 统 日 志 备份 支持 软件 界面 的 日 志 备 份 。 
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File(F) Help BackService 


Q Log Retrieval OO sending server [ww accepting server 


册 System Log 


3 Configure 
CD Backup 


System Log Backup(Local) 
Select the backup point: 


O Backup logs from one year ago 
O Backup logs from six months ago 
口 Backup logs before today 


select backup path: 


|Ihome/zhuyan/needmodify16/SystemLogs/ i 


Server Logs Backups 
Select the backup time interval: 


Start date of backups ”|2018-09-19 


End date of backups 。 |2018-09-19 


select backup path: 


|/home/zhuyan/needmodify16/Logs/ | | 


人 zhuyan 


Local Backup 


Remote Backup 


则 图 10 扩 不 系统 日 澡 交 作 作价 同 各 份 > 关 成 冯 | 


页 面 的 备份 路 径 ; 


个 文件 夹 、 存 储 路 径 根 目录 每 


图 10 日 志 备 份 
Fig. 10 log backup 


半年 前 、 


一 年 前 的 本 地 日 志 ， 默 认 配置 


普通 日 志 备份 支持 用 户 选择 的 起 始 日 期 内 的 日 志文 件 ， 包 括 按 每 个 文件 、 每 


4、 数 据 传输 可 视 化 


在 日 志 系统 的 基 而 


变化 的 所 有 日 志 的 压缩 打包 下 载 ， 默认 配置 页 面 中 的 备份 路 径 。 


上 上 ， 通 过 htm15、AJAX、PHP 等 web 相 关 技 术 建 立 了 数据 传输 可 视 化 页 面 ， 


如 图 12 所 示 。 可 视 化 页 面 上 可 显示 传输 系统 工作 情况 ， 便 


况 ; 第 二 部 分 ， 
的 心跳 数据 ， 
提醒 ， 第 四 部 分 ， 


过 曲线 图 ， 显 示 过 去 一 


输 情 况 。 可 视 化 页 面 分 为 6 个 部 分 : 第 一 部 分 ， 
通过 柱状 统计 图 显示 出 过 去 一 周 的 数据 
显示 出 发 送 服务 器 与 接受 服务 器 的 状态 ， 
通过 饼 状 图 显示 出 服务 器 的 存储 情况 
需要 增加 存储 设备 ;第 五 部 分 ， 


通过 调用 日 志 


i 于 系统 管理 员 及 相关 人 员 了 解数 据 传 
通过 柱状 统计 图 显示 出 当日 的 数据 存 入 和 发 送 情 


青 况 ; 
一 但 


第 三 部 分 ， 通 过 调用 后 台 服 务 器 


记录 ， 显 示 正 在 ; 


上 现 异 常会 通过 警报 程序 自动 发 送 


， 管 理 人 员 可 通过 直观 的 显示 判断 是 否 


行 的 传输 情况 ， 第 六 部 分 ， 通 


小 时 的 数据 传输 速率 。 


201812.00152v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


Today s data transmission Data transmission in the past seven days 


DM Osts hss been trars mittied todsyGB) 本 The amount ofdsts produded(GB) MW The amount ofdete tansferred(GE) 
25 


160 
140 
120 
100 
浊 | | 1 


RE ted 


Network connection Data situation of re server Data situation of accepting server 


Communication time : 2018-05-23 12:03:27 Using : 264159MEB total space : 4718592MB Using : 240817ME total space : 2097152MB 
Data-sending server connection status : Total Files : 44785 个 2018-05-23 12:06:17 Total File : 39542 个 2018-05-23 12:05:09 


【nermal] Space ME Usedspace MMW FeeSpac 
Data-accepting server connection status : WN Useds WN Free 


[normal]) 

Communication time : 2018-05-23 12:01:27 
Data-sending server connection status : 
【necrmal] 


Data-accepting server connection status : 
【nermal] 


o BSB 8 8 


Communication time : A 23 11:59:27 


Data-accepting server connection status : 


[normal] ©® 
Data transmission performance Data transfer rate for the past hour 


Transferred file name: [ED Dats tars mission wlume per minute (MB) 
/2016/20160311/ 450 
160311 032311 ON.rpf 
6.87MB/s 400 
61% 
350 
Transferred file name: 
/2016/20160311/ 300 
160311 032316_ OF.rpf 
3.54MB/s 
100% 
200 


Rsync tool is running. 
150 
© sresrsreliririrorire rr 
3 ~ 


RG RO OR GR OR RR FA RRR GOR old: 


图 11 可 视 化 界面 
Fig.11 Visualization page 


可 视 化 系统 将 数据 传输 的 日 志 内 容 较为 直观 的 显示 出 来 ， 为 系统 管理 员 提 供 了 极 大 的 便捷 ， 
可 辅助 判断 系统 的 运行 情况 ， 及 时 发 现 系统 存在 的 问题 。 可 视 化 页 面 采用 模块 化 开发 技术 ， 将 
来 可 以 嵌入 到 大 型 观测 装置 的 中 控 系 统 当中 。 


5 总 结 六 一口 


根据 新 疆 天 文 台数 据 传 输 的 实际 需求 ， 构 建 了 日 志 收 集 - 存 储 服务 -日 志 检索 的 日 志 系 统 架 
构 ， 在 数据 发 送 服务 器 与 接收 服务 器 上 都 搭建 了 日 志 系统 的 后 台 服 务 程序 。 ee da 
序 间 互 监控 系统 ， 完 成 了 数据 传输 中 对 文件 信息 、 文 件 md5 校 验 值 记录 的 普 ， 与 按 天 按 存 
储 数据 文件 夹 记录 的 统计 日 志 。 另 外 ， | 
日 志 检 索 系 统 作为 客户 端 软件 安装 在 第 三 方 设备 上 ， 软件 读 取 配置 文件 信息 ， 自 动 连接 数 
据 发 送 服务 器 端 与 数据 接收 服务 器 端 数据 库 。 实 现 了 按时 间 、 关 键 字 检索 两 端 远程 服务 器 日 志 
信息 ， 备 份 由 检索 结果 组 成 的 日 志 信 息 。 查 看 软件 本 地 产生 的 登录 、 操 作 等 不 同类 别 日 志 ， 压 


I 


F 参 数 修改 ,提供 用 户 对 服务 器 两 端 系 统 的 启动 、 


缩 备份 本 地 日 志 。 实现 了 对 服务 器 两 端 配置 文 
停止 、 重 启 功 能 。 

实现 了 数据 传输 的 可 视 化 , 通过 WEB 形 式 显 示 日 志 内 容 , 可 以 辅助 系统 管理 员 了 解 传输 系统 
的 运行 状态 ， 采 用 模块 化 开发 技术 ， 便 于 后 期 的 移植 和 复 用 。 
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Design and implementation of Xinjiang Astronomical 


Observatory Observation data transmission log system 
Zhu Yan"’”, Zhang Hailong ,Ye Xinchen ,Wang Jie', Wang Wanqiong', Tohtonur', Li Jia', 


Zhang Meng… 
(1. Xinjiang Astronomical Observatory, Chinese Academy of Sciences, Urumqi 830011,China; 2. University of Chinese Academy of Sciences, 
Beijing 100049,China; 3. Key Laboratory of Radio Astronomy, Chinese Academy of Sciences, Nanjing 210008, China) 


Abstract: The observation data generated by Xinjiang Astronomical Observatory(XAO) telescope 
was transmitted to the data center at XAO headquarters for long-term storage through the dedicated 
transfer line. Statistical analysis cannot be performed due to the lack of detailed log records during 
transmission using rsync. The data transmission log system of XAO was designed and developed on 
the basis of fully investigating the data transmission demand. Based on the data storage server of 
Nanshan Station, Qitai Station and the long-term storage server at the XAO headquarters, the overall 
architecture of log system was designed and the logging of the data transmission process was realized. 
The shell multi-threading technology and qt framework were adopted to develop the back-end service 
program and system software interface which realized log analysis, data statistics, log backups and 
data transfer visualization page. 

Keywords: Log; Data Transmission; Database; Visualization 


